После ухода из России международных баз данных Web of Science (WoS) и Scopus, на которые профессиональное сообщество ориентировалось при оценке результативности научной деятельности, была поставлена задача разработать систему, не привязанную к международным наукометрическим ресурсам. 20 октября 2022 г. был утверждён «Белый список» — перечень научных журналов, который будет использоваться для оценки результативности научных организаций (коллективов) по формальным критериям.
В список включены в основном издания, которые по состоянию на середину 2022 г. индексировались в WоS Core Collection, Scopus и Russian Science Citation Index (RSCI). Сейчас в него входит чуть менее 30 тыс. научных журналов, из которых 1122 — российские.
Список представлен на сайте https://journalrank.rcsi.science/ru/.
На заседании круглого стола «Научные журналы в построении системы оценки результативности научной деятельности» эксперты обсудили плюсы и минусы подобного подхода¹.
¹ Круглый стол состоялся в рамках 11-й Международной научно-практической конференции «Научное издание международного уровня — 2023: достижения, реалии, перспективы» в МСХА имени К.А. Тимирязева.
Как отметил начальник отдела Департамента науки и научно-технической политики Минобрнауки России Евгений НАУМОВ, такой способ, как белые списки, используют и зарубежные страны: восемь европейских государств, Австралия, Индия. По словам эксперта, подход не является панацеей, но может стать важным шагом к более осмысленной системе оценки деятельности учёного.
Цель белых списков — обеспечение представленности национальной науки при оценке результативности, учёт специфики научной области, нивелирование стимулов для мусорных публикаций и нейтрализация активности хищнических журналов. Данный инструмент позволяет на ранних стадиях пресекать потенциальные риски некорректного поведения авторов и издателей.
Эксперт сообщил, что межведомственная рабочая группа подготовила критерии оценки и пересмотра состава «Белого списка».
—Каждый научный журнал, который ведёт свою деятельность на высоком уровне, вполне может им соответствовать. Завершена работа по ранжированию журналов. Методика категорирования научных журналов в «Белом списке» основывается на показателях цитирования. Список разделён на четыре уровня. Это является предпосылкой для создания индекса научного цитирования внутри списка, — отметил Е. Наумов.
На двух верхних уровнях «Белого списка» расположилось более 550 российских научных журналов. Для сравнения: в первом квартиле WoS их было восемь, в Scopus —182.
—По большому счёту мы создаём кредит доверия российским научным изданиям и стимул для перенаправления потока рукописей. В целом это должно дать определённый синергетический эффект, а представленная система уровней позволяет пересмотреть требования, предписанные нормативными документами, и применить их к программам развития вузов и научных организаций, —считает эксперт.
Что касается развития российских научных журналов, то, по мнению выступающего, важно снять с организаций часть несвойственных издателям функций. Сейчас прорабатывается вопрос создания платформы научных журналов, на которой будет реализован ряд опций. Редколлегия должна готовить контент, а технические моменты могут взять на себя специализированные сервисы, полагает Е. Наумов.
Списки в целях оценки научной результативности используются и на уровне отдельных вузов. Кейс НИУ ВШЭ представил директор по академическому развитию, начальник Управления академической экспертизы университета Даниел КАРАБЕКЯН:
— До определённого момента мы учитывали все виды публикаций. Затем приняли решение не гнаться за количеством, а сконцентрироваться на качестве. В 2015 г. был запущен журнальный проект НИУ ВШЭ, тогда же в университете стали учитывать публикации в журналах, входящих либо в международные базы, либо в утверждённый дополнительный перечень, а также создали чёрный список изданий. Используемая большинством система квартилей как критерий качества нас не устроила, потому что квартиль — вещь нестабильная, и с 2021 г. мы от неё отказались. Это помогло в момент, когда наукометрические базы ушли из России: в НИУ ВШЭ ориентировались не на WoS и Scopus, а на свои списки.
В частности, в список A входит 7571 журнал. Перечень составлялся на основе первого-второго квартилей WoS, а также из изданий, добавленных по результатам внутренней и внешней экспертизы. Список зафиксирован на 2021–2023 гг.
Список B состоит из 185 журналов, входящих в стабильно высокие квартили Scopus или имеющих высокий экспертный рейтинг/индекс. Зафиксирован на 2022–2023 гг.
В список С включены 17 510 журналов, индексируемых международными базами данных (без ESCI²) на конец 2021 г. Пополнение осуществляется на основе экспертизы.
² Emerging Sources Citation Index (ESCI) — индекс цитирования, который с 2015 г. составлялся Thomson Reuters, а теперь — Clarivate.
Список D представлен 378 журналами, не входящими в международные базы данных. На 80% это издания, входящие в RSCI. Зафиксирован на 2022–2023 гг.
По словам эксперта, исследователям оплачиваются в основном публикации в списках А и В, а перечни C и D учитываются как некий наукометрический порог: можно набраться опыта публикационной деятельности, но не заработать деньги.
Списки — достаточно эффективный инструмент, считает эксперт. С их помощью можно «докрутить» систему оценки публикационной активности с учётом специфики организации.
Альтернативного подхода придерживаются в Физическом институте РАН (ФИАН). Опытом поделился учёный секретарь ФИАН Андрей КОЛОБОВ.
— ФИАН — это крупный институт, работающий по восьми направлениям физики. В своё время мы столкнулись с необходимостью оценки разноплановых научных исследований. Научные коллективы в различных направлениях представлены совершенно по-разному. Возникает вопрос: как производить оценку таких подразделений и отдельных исследователей с учётом того, что всего в организации более 1 тыс. сотрудников? — обозначил проблему эксперт.
Фактически в 2017–2018 гг. в институте перешли на наукометрию и для оценки, и для распределения финансовых средств. Как отметил выступающий, наукометрия не направлена на выявление лидеров — лучше всего она идентифицирует аутсайдеров. Её главная задача — выявить так называемую нулевую группу, тех, кто прекратил свою научную деятельность.
Основные принципы таковы:
— Фактически мы разделили баллы за статью между участниками с учётом их количества и числа аффилиаций. Так, в институте работает отделение ядерной физики, у которого достаточно много коллаборационных статей. Все эти работы — публикации высокого уровня, в среднем их число в верхнем квартиле Q1 достигало нескольких сотен в год. При этом две крупнейшие коллаборации в своём составе насчитывали 2,2 тыс. и почти 3 тыс. членов соответственно. Вопрос вклада наших исследователей вызывал у остального институтского сообщества вопросы, фракционная модельих частично сняла, — прокомментировал эксперт.
Что касается финансирования, то в ФИАН была практика распределения существенной его части между подразделениями согласно рейтингу, основанному на числе публикаций, их цитируемости, доле молодых сотрудников и объёме внебюджетных доходов. Ещё одна интересная мотивирующая практика — оплата труда научных сотрудников на основе наукометрических показателей. Все исследователи, которые превысили минимальный порог, делятся на четыре равные по числу группы. Каждая из них состоит из более чем 200 человек, в каждой группе одинаковые надбавки за публикационную активность, а её размер между группами пропорционален 1–2–3–4. Правила прозрачны для каждого сотрудника, они привыкли к такой системе и выстраивают свою публикационную деятельность в этой модели.
— При этом мы выступаем за то, что, если сотрудник хочет больше зарабатывать, он должен кроме фундаментальных исследований вкладываться в реальные разработки, в опытно-конструкторские работы, в грантовые исследования. Мы не пытаемся устроить гонку за статьями Q1, но стимулируем людей публиковаться. Считаем, что научный сотрудник должен демонстрировать свои результаты постоянно. Статья является не самоцелью, а минимальным рецензируемым результатом, который человек может представить, поэтому учёный должен публиковаться минимум раз в два года, — полагает эксперт.
Как отметил А. Колобов, монографии тоже учитываются в публикационной активности, причём некоторые — даже по главам. Но в общем объёме публикационной деятельности они занимают менее 1%.
— С монографиями всегда возникает вопрос объёма и значимости. Многие знают, что платно можно опубликовать почти любой текст. Если говорить о публикации статьи в научном издании, которое имеет приличный рейтинг, то там налажены рецензирование и отбор, что касается монографий — это неочевидно. Простой наукометрический подход к монографиям применять невозможно, поэтому приходится задействовать экспертную оценку на предмет значимости и новизны, — подчеркнул выступающий.
В рамках дискуссии участники круглого стола высказали свою точку зрения о новых подходах к оценке науки.
Иван СТЕРЛИГОВ, советник проректора НИУ ВШЭ:
— Мы обсуждаем национальный «Белый список», но пока до конца непонятно, кто его автор. Думаю, что Минобрнауки России должно более чётко доносить эту позицию. Основное, что можно выделить, — колоссальное расхождение подходов в России и в странах, более развитых в научном отношении. У нас продолжается формализация, а в мире — серьёзное движение в сторону экспертизы от оценки через публикации, индексы цитирования и Хирша. Есть масса соответствующих инициатив, самая масштабная разворачивается в Европе. Особенно это касается уровня грантов. В Российском научном фонде подход диаметрально противоположный: там занимаются подсчётом числа публикаций. Что касается оценки отдельных авторов, то за рубежом подчёркивается недопустимость оценки отдельных показателей. У нас подход совершенно другой.
Есть целый ряд примеров, когда науку оценивают через экспертные списки. Самый известный — скандинавская модель, в основе которой лежит аутсорсинг экспертной оценки, опора на мнение рецензента, его научный уровень и репутацию. У нас ни про Перечень ВАК, ни про «Белый список» этого сказать нельзя, да и цели такой не ставилось. Как мне кажется, основная задача — помочь всем участникам отчитаться перед вышестоящими органами. В этом смысле важнее формальные характеристики журналов, вхождение их в те или иные базы данных, которые воспринимаются как внешние белые списки. Очевидно, что в России формализация выгодна всем участникам процесса: не только чиновникам, но и самим учёным.
В имеющейся методике мы видим все проблемы наукометрии, начиная от её неприменимости для гуманитарных наук. Формализм оказывается более важным, чем экспертная оценка. Кроме того, можно отметить любопытный факт: список сначала разрабатывается, предлагается, а потом уже обсуждают, как он будет применяться. По сути, это просто замена квартилей WoS и Scopus в нормативных документах. Как именно «Белый список» будет применяться, на каком уровне, пока ещё абсолютно не ясно.
Настораживает отсутствие экспертизы. Единственный момент, немного в карикатурном ключе, когда она применялась, — при исключении журналов ЛГБТ-тематики, которые удосужились прочитать члены рабочей группы. По сути, за год и удалось только переименовать квартили WoS и Scopus в национальный список.
Имеет место существенное смещение целеполагания. Российские журналы почему-то ставятся выше отечественной науки при дизайне соответствующих инструментов. Да, качественные научные издания поддерживать важно, но это не является задачей построения инструментов оценки науки. Включение журналов в национальный список никак не продвинет их на мировом уровне.
Одна из целей списка — недопущение публикаций в мусорных журналах. Но достаточно упомянуть, что самый одиозный из таких журналов — Sustainability издательства MDPI, один из наиболее популярных в России, — остался в итоговом списке, как и масса других подобных изданий. Таким образом, эта задача тоже не решена. Налицо больше симуляция достижений, чем экспертная оценка российской науки.
Николай ФЕДОСЕЕНКОВ, директор издательства «Наука»:
— Вопрос достаточно дискуссионный и непростой. Считаю, что созданный список прежде всего динамичный. При последнем голосовании мы исключили ещё несколько десятков журналов по разным причинам: отсутствие активности, низкая активность. Это говорит о том, что подход работает. Конечно, всё надо делать регулярно, и только в этом случае мы добьёмся необходимого результата. Полагаю, что это правильное начинание, потому что публикационную активность всё равно необходимо оценивать.
Не считаю также, что размещение отечественных журналов в верхней части списка является губительным и не помогает этим изданиям. Если нет протекции по отношению к национальным авторам, то мы выдавливаем их в иностранные журналы. Безусловно, эффект окажется отложенным, но он будет.
Дмитрий ГЛАДЫРЕВ, директор Центра поддержки научной деятельности Института экономики и управления Уральского федерального университета:
— Было немало попыток проранжировать журналы на основании данных Российского индекса научного цитирования (РИНЦ), и практически никогда не принимали во внимание один момент: одинаково учитывались русско- и англоязычные издания. Понятно, что внутри РИНЦ у всех англоязычных российских изданий будут заниженные показатели: большинство авторов в России пишут на русском языке. Самое главное, что решение не должно быть топорным. Несмотря на то, что есть некачественные англоязычные журналы и очень качественные русскоязычные, в среднем уровень англоязычных изданий выше. Чаще всего такие журналы создавались под амбициозные цели, в частности для вхождения в международные базы данных.
Очень важно, как «Белый список» будет применяться. Сейчас все проблемы, которые мы наблюдаем: приписное соавторство, публикации в мусорных журналах, возникают из-за несоответствия текущего уровня факультетов и школ требованиям, которые перед ними ставятся. Очевидно, что критерии должны быть немного выше текущего уровня, но не более чем на одну ступень. Когда какой-либо факультет не публикуется в международных журналах или в изданиях из ядра РИНЦ, а от него требуют Q1 или Q2 в WoS, это не работает. Понятно, что идеального результата добиться невозможно, но надо создавать стимулы для организаций, чтобы они всегда стремились подняться на ступень выше. Для этого необходимы госпрограммы, конкурсы и гранты, ориентированные на разные группы вузов.
Антон СМИРНОВ, заместитель начальника Центра информационно-библиотечного обеспечения учебно-научной деятельности НИЯУ МИФИ:
— По моим ощущениям, большая часть научного и издательского сообщества осознанно выбирает позицию не следить за обновлениями «Белого списка» и спорами вокруг него. Причины этого — заметная поспешность в работе над списком и появление параллельных списков от других институций, приумножившее коллективное непонимание того, как и в каких случаях эти списки будут использоваться. Высока вероятность, что итоговая версия списка станет вторить условному ядру РИНЦ (WoS, Scopus, RSCI), а ранжирование в той или иной мере воссоздаст квартили. Для журналов это означает, что их позиционирование не сильно изменится с приходом «Белого списка».
В условиях смены ориентиров хорошо проявляют себя те журналы, редакции которых не строили свою работу вокруг метрик, но выполняли самую главную задачу — организовывали продуктивный разговор между автором и рецензентами. Если результат этого разговора — научная статья — был распространён посредством работы с метаданными и базами данных среди широкого круга читателей, то журнал получал достаточно цитирований для уверенного положения в любом рейтинге.
Андрей ГУСЬКОВ, заведующий Лабораторией наукометрии и научных коммуникаций Российского института экономики, политики и права в научно-технической сфере:
— Считаю, что в национальной системе оценки научной результативности слишком много наукометрии и слишком мало экспертизы. Наукометрия vs экспертиза — борьба научной бюрократии и научной аристократии, для которых это основные инструменты управления наукой. И тот и другой обладают своими достоинствами и недостатками. Если между ними нет баланса, получаются перекосы: экспертиза оказывается слишком субъективной или оценка — чересчур формальной, со всеми вытекающими проблемами.
Мы провели исследование по эволюции системы оценки научной результативности в Китае³.
³ Лакизо И.Г. Эволюция оценки научной результативности в Китае / И.Г. Лакизо, А.Е. Гуськов // Вестн. РАН. — 2023. — Т. 93., № 4. — С. 329–341.
Она интересным образом перекликается с тем, что происходит в России. Там тоже некоторое время наблюдался период «поклонения WoS», когда все решения принимались на основе показателей: приём на работу, выплата премий и т.д. И хотя за это время Китай стал первым в мире по количеству публикаций, сейчас там кардинально пересматривают систему оценки, увидев ряд негативных эффектов. О них следует сказать пару слов.
Во-первых, искажается первоначальная миссия организации. Если необходим определённый количественный результат, то организации вынуждены заниматься примерно одним и тем же, одинаковым образом вести исследования, они теряют свою уникальность и самобытность. Деградирует кадровая политика: учитывается то, насколько хорошо преподаватель пишет статьи, и не берётся в расчёт то, как он учит студентов. В результате страдает и подготовка молодых кадров. Наблюдается отказ от исследования непопулярных вопросов. Предпочтение популярных и игнорирование менее изученных тематик приводит к сокращению инноваций в академической системе. Темы, актуальные в национальном контексте (исследования, которые стимулируют новые технологии, новые продукты или развитие социально-гуманитарных вопросов в контексте Китая), могут не относиться к передовой области в международной повестке, поэтому им трудно попасть в высокорейтинговые журналы, а учёным — получить вознаграждение от системы.
Во-вторых, отмечено негативное влияние оценки на качество исследований: публикационное давление приводит к многократному повторению низкоуровневых исследований, формирует эффект «академического пузыря», лишает учёных энтузиазма при проведении исследований, делает равнодушными к качеству работ —количество оригинальных статей от колледжей и университетов снижается. Фиксируется всё больше нарушений публикационной этики: доля ретрагированных статей в Китае растёт очень быстро. Процветают фабрики статей.
И наконец, последней каплей, переполнившей чашу терпения китайцев, стала публикация важной статьи в журнале Lancet после начала эпидемии ковида, 29 января 2020 г., о том, как распространяется это заболевание. Из текста было понятно, что ещё в декабре 2019 г. её китайские авторы знали о деталях передачи вируса от человека к человеку и о случаях заражения медицинского персонала, но не раскрывали всех данных до выхода публикации. И хотя статья вышла всего через две-три недели после подачи в журнал, исследователей обвинили в том, что для них академическая публикация оказалась более приоритетной, чем борьба с национальной угрозой, приводящей к ежедневным смертям соотечественников. За этим последовали решения министерства об изменениях в системе оценки. Один из пунктов —отказ от количественных показателей и фокус на экспертную оценку того, какой вклад те или иные исследования вносят в национальную экономику, культуру, социальную среду.
На этот опыт как минимум следует обратить внимание.
Рубрика: Вузовские издательства
Год: 2023
Месяц: Октябрь
Теги: Андрей Гуськов Николай Федосеенков Наукометрия Научные журналы Белый список научных журналов (БСНЖ) Научное редактирование Евгений Наумов Даниел Карабекян Андрей Колобов Иван Стерлигов Дмитрий Гладырев Антон Смирнов
